Việc Khang Hi trừ bỏ Ngao Bái khiến nhiều quan lại chính trực rất vui mừng và khâm phục. Tuy trong triều đã yên nhưng tình hình bên ngoài còn nhiều việc. Lãnh thổ Trung Quốc chưa hoàn toàn được thống nhất, vẫn còn nguy cơ để lại từ cuối thời Minh: đó là "tam phiên" tức 3 vị vương từng là hàng tướng của nhà Minh gồm có Bình Tây vương Ngô Tam Quế ở Vân Nam, Bình Nam vương Thượng Khả Hỷ ở Quảng Đông và Tĩnh Nam vương Cảnh Tinh Trung ở Phúc Kiến; Trịnh Thành Công vẫn chiếm giữ Đài Loan, vua Nga là Sa Hoàng nhiều lần gây chiến ở biên giới. Vì vậy từ khi chính thức trực tiếp nắm quyền hành, Khang Hi đã tự mình viết tấm biển "tam phiên, hà vụ, tào vận" để đặt ra nhiệm vụ giải quyết những mối lo của triều đình.

Tam phiên có địa bàn cai quản rộng lớn, thế lực ngày càng mạnh, lại là tướng cũ của nhà Minh, trở thành mối lo với nhà Thanh, do đó Khang Hi quyết tâm trừ bỏ. Tháng 03.1673, Bình Nam vương Thượng Khả Hỷ tuổi cao sức yếu dâng thư lên triều đình xin được về hưu dưỡng lão và xin cho con là Thượng Chi Tín kế chức. Khang Hi nắm được cơ hội bắt đầu trừ bỏ tam phiên, bèn đồng ý với thỉnh cầu từ chức của Khả Hỷ, nhưng không cho Chi Tín kế vị.

Lúc đó con trai Ngô Tam Quế là Ngô Ứng Hùng đang ở Bắc Kinh đã nhanh chóng đưa tin về Vân Nam. Tháng 7 năm đó, tin tức đưa tới miền nam. Ngô Tam Quế và Cảnh Tinh Trung thấy Khang Hi đồng ý với đề nghị rút lui của Thượng Khả Hỷ, lấy làm lo lắng, bèn đồng loạt viết thư xin cáo lão. Các đại thần cho rằng Ngô Tam Quế và Cảnh Tinh Trung không thực lòng rút lui, khuyên ông không nên phê chuẩn vì sẽ gây biến loạn.[28]

Trong khi đó, chỉ có số ít đại thần đồng tình với ý định triệt phiên của Khang Hi như Thượng thư bộ Hộ là Mễ Tư Hàn, Thượng thư bộ Hình là Mạc Lạc, Thượng thư Bộ Binh là Minh Châu. Khang Hi muốn nhân cơ hội này trừ bỏ tam phiên nên chấp thuận luôn, và sai Bác Nhĩ Khẳng, Chiết Mại Lễ tới Vân Nam, sai Lương Thanh Tiêu tới Quảng Đông, Trần Nhất Bỉnh tới Phúc Kiến để thi hành mệnh lệnh, thúc giục tam vương rời bỏ ngôi vị.

Thấy rõ ý định của Khang Hi muốn trừ bỏ mình, Ngô Tam Quế bèn cầm đầu tam vương khởi sự chống lại nhà Thanh. Tam Quế viết thư cho Phúc Kiến và Quảng Đông đề nghị cùng khởi binh với danh nghĩa "phục Minh diệt giặc", tự xưng là "thiên hạ đô chiêu thảo binh mã đại nguyên soái". Thượng Chi Tín và Cảnh Tinh Trung đều hưởng ứng. Con Trịnh Thành Công là Trịnh Tuyền cũng nhân dịp đó mang quân từ đảo Đài Loan vào đất liền đánh chiếm Ôn châu, Tuyền châu, Chương châu,...[29]

Quân nổi dậy của Ngô Tam Quế nhanh chóng chiếm giữ Nguyên châu, Thường Đức rồi tiến vào Tứ Xuyên. Tam Quế đích thân tới Thường Đức, Lễ châu chỉ huy chiến trận.

Trước thế mạnh của tam vương, một số đại thần nhà Thanh khuyên Khang Hi theo nếp cũ của Hán Cảnh Đế từng chém Triều Thố để yên lòng Ngô vương Lưu Tỵ khi mới xảy ra loạn bảy nước, vì vậy nên chém những người đồng tình triệt phiên như Mễ Tư Hàn, Mạc Lạc và Minh Châu để làm vừa lòng tam phiên. Nhưng Khang Hi kiên quyết phản đối chủ trương đó, vì ông đã thấy trong quá khứ sau khi Hán Cảnh Đế chém Triều Thố, Lưu Tỵ vẫn không giải binh. Vì vậy ông tuyên bố một mình chịu trách nhiệm việc triệt phiên, và lệnh bắt giam con cháu Ngô Tam Quế ở Bắc Kinh là Ngô Ứng Hùng, Ngô Thế Lâm.

Giữa lúc đó Ngô Tam Quế thông qua Đạt Lại Lạt Ma gửi thư tới Khang Hi yêu cầu cho mình được cát cứ phía nam Trường Giang. Khang Hi bác bỏ đề nghị cát cứ nam Trường Giang của Tam Quế, ra lệnh chém Ngô Ứng Hùng và Ngô Thế Lâm. Ngô Tam Quế thúc quân tấn công 30 thành trì vùng Giang Tây. Thủ hạ của Tam Quế là Vương Bỉnh Phiên tấn công vào Thiểm Cam – hậu phương nhà Thanh. Tháng 01.1675, con nuôi Ngô Tam Quế là Vương Phụ Thần đang làm Đề đốc Thiểm Tây mang quân chiếm Bình Lương. Được Vương Bính Phiên trợ giúp, Vương Phụ Thần chiếm được Thái châu, Lan Châu, Củng Xương, Định Biên. Ngô Tam Quế tuyên bố sẽ chiếm Kinh châu để tiến vào Bắc Kinh.

Trong lúc đó, Cảnh Tinh Trung và Thượng Chi Tín cũng ra quân hưởng ứng Ngô Tam Quế.

Trước tình hình biến loạn, Khang Hi vẫn bình tĩnh chỉ huy cuộc chiến. Ông xác định Ngô Tam Quế cầm đầu cuộc nổi dậy, chỉ cần tập trung lực lượng diệt Ngô Tam Quế. Vì vậy ông tận dụng mâu thuẫn giữa Cảnh Tinh Trung và Trịnh Kinh, ra chiếu gửi Quảng Đông và Phúc Kiến, chấp thuận cho Thượng Chi Tín và Cảnh Tinh Trung tiếp tục làm vương. Đồng thời, ông điều quân Thanh đánh bật quân Đài Loan bị cô lập ra khỏi đại lục.

Năm 1677, Thượng Khả Hỷ vì mâu thuẫn với Ngô Tam Quế, buồn bực lâm bệnh qua đời. Quân hai xứ Phúc Kiến, Quảng Đông sau khi gặp một số bất lợi bèn chấp nhận yêu cầu của Khang Hi, dâng sớ chấp nhận bãi binh. Yên được hai phía, Khang Hi tập trung lực lượng đối phó với Ngô Tam Quế[30]. Tuy đồng ý trên giấy tờ, 2 xứ này vẫn chưa chịu hoàn toàn thần phục.

Thấy vai trò quan trọng của Vương Phụ Thần trong việc giúp lực lượng Ngô Tam Quế phát triển, Khang Hi dùng sách lược vừa đánh vừa dụ. Ông sai con Phụ Thần tới hàng quân Vân Nam, rồi sai Đồ Hải mang quân tới chống Phụ Thần. Phụ Thần trúng kế điệu hổ ly sơn của Đồ Hải, bị hao binh tổn tướng. Bị quân Thanh vây hãm lâu ngày, Vương Phụ Thần hết lương phải ra hàng triều đình.

Quân Thanh chiếm lại trọng điểm Bình Lương khiến Ngô Tam Quế ở Thiểm Tây bị thất thế. Sang năm 1678, quân Thanh giành thắng lợi, đánh chiếm lại Thiểm Tây. Một số tướng lĩnh của Tam Quế là Lâm Hưng Chu, Hàn Đại Nhiệm xin hàng nhà Thanh. Cùng lúc Vương Kiệt Thư đánh bại quân Ngô ở Giang Tây và Chiết Giang khiến Cảnh Tinh Trung không còn ngoại viện, thế cùng phải xin hàng.

Thế cục đã thay đổi, Ngô Tam Quế phải rút về chỉ còn giữ được Vân Nam. Nhưng đầu năm 1678 Ngô Tam Quế vẫn cố xưng đế hiệu ở Hành Dương, đặt quốc hiệu là Chu. Chỉ 5 tháng sau Tam Quế già yếu mắc bệnh qua đời. Cháu Tam Quế là Ngô Thế Phan kế vị.

Năm 1680, Khang Hi điều 3 cánh quân tấn công Vân Nam. Ngô Thế Phan thất bại liên tiếp, quân Thanh chiếm được Côn Minh. Thế Phan bị dồn vào đường cùng, phải uống thuốc độc tự sát. Sang năm 1681, Khang Hi hoàn toàn dẹp được Vân Nam, chấm dứt loạn Tam phiên.